Smithsonian Castle, 1850er Jahre